Thác Bạt Tự sinh năm 392, tức sau khi cha Thác Bạt Khuê lập ra Bắc Ngụy vào năm 386 song trước thời điểm Thác Bạt Khuê chinh phục hầu hết lãnh thổ của kình địch Hậu Yên và xưng đế vào năm 399. Mẹ của ông là một thê thiếp được Thác Bạt Khuê sủng ái, Lưu thị, bà là con gái của tộc trưởng Hung Nô Lưu Đầu Quyến (劉頭眷). Ông sinh ra tại kinh đô Vân Trung (雲中, nay thuộc Hohhot, Nội Mông). Thác Bạt Tự là con trai cả của Thác Bạt Khuê, và Thác Bạt Khuê được thuật lại là rất vui mừng trước việc này và đã cho đại xá.

Khi Thác Bạt Tự trưởng thành, ông là một chàng trai trẻ sáng suốt và có lòng tốt, tất cả các hành động của ông đều không phạm phép tắc. Ngược lại, em trai Thác Bạt Thiệu (拓拔紹) của ông lại là một thiếu niên phù phiếm và hung bạo, Thiệu thường bị phụ hoàng trừng phạt, và Thác Bạt Tự đã có gắng uốn nắn hành vi của em trai bằng những lời trách mắng, song điều này lại khiến cho Thác Bạt Thiệu tức giận ông. Năm 403, Thác Bạt Khuê sau khi xưng đế đã phong cho Thác Bạt Tự là Tề vương. Năm 409, Đạo Vũ Đế đã có ý định lập Thác Bạt Tự làm thái tử, song do truyền thống của bộ lạc Thác Bạt có quy định rằng mẹ của người thừa kế sẽ phải chết, Đạo Vũ Đế đã buộc Lưu thị phải tự sát. Đạo Vũ Đế đã triệu Thác Bạt Tự đến và giải thích rằng truyền thống này cũng giống với việc Hán Vũ Đế buộc người thiếp được mình sủng ái là Triệu thị (mẹ của Hán Chiêu Đế) phải chết, lý do đều là để tránh ảnh hưởng quá lớn của ngoại thích đối với một hoàng đế trẻ tuổi. Sau khi Thác Bạt Tự dời khỏi chỗ cha, vì có nhiều tình cảm với mẹ nên ông đã than khóc rất nhiều. Khi nghe được tin, Đạo Vũ Đế đã lại triệu ông vào cung, song do Đạo Vũ Đế vào cuối thời trị vì của mình có xu hướng hoang tưởng và bạo lực rất lớn, các hầu cận của tân thái tử đã đề nghị rằng ông không nên vào cung mà hãy đi ở ẩn tại vùng thôn quê. Thác Bạt Tự đã chấp thuận và làm theo, ông đã chạy khỏi tân đô Bình Thành.

Trong khi đó, Đạo Vũ Đế đã mâu thuẫn với Hạ Lan phu nhân về những tội của con trai Thác Bạt Thiệu nên đã giam cầm và lên kế hoạch giết bà. Hạ Lan phu nhân đã bí mật gửi một tin nhắn cho con trai, bảo Thiệu hãy đến cứu bà. Đáp lại, Thác Bạt Thiệu đã ám sát Đạo Vũ Đế và cố đoạt lấy ngôi vị hoàng đế, ông ta cũng cố gắng nắm lấy quân đội. Thác Bạt Tự hay tin trong cung, đã trở về Bình Thành song lại ẩn thân, cố gắng dần tập hợp những người ủng hộ. Thác Bạt Thiệu đã cố gắng tìm kiếm để trừ khử ông, song các cận binh hoàng cung đã dần quay sang phía Thác Bạt Tự, và họ đã bắt giữ Thác Bạt Thiệu và giải đến chỗ Thác Bạt Tự. Thác Bạt Tự quyết định xử tử Thác Bạt Thiệu, Hạ Lan phu nhân và các cộng sự của Thác Bạt Thiệu. Thác Bạt Tự sau đó lên ngôi hoàng đế.